混合专家
  1. 首页
  2. 混合专家

列表

源2.0

源2.0

源2.0-M32是由浪潮信息开发的一种混合专家模型（MoE），包含32个专家，采用“注意力路由器”技术，显著提升了模型的效率和准确性。该模型在代码生成、数学问题解决、科学推理等多个领域表现出色，尤其在ARC-C和MATH基准测试中超越了其他模型。源2.0-M32具有高效的计算能力和广泛的适用性，适用于多种复杂任务。
AI项目与工具 2025年06月12日
OLMoE

OLMoE

OLMoE是一款基于混合专家（MoE）架构的开源大型语言模型，具有高效的稀疏激活机制和快速训练能力。它支持自然语言理解、文本生成、多任务处理等功能，并广泛应用于聊天机器人、内容创作、情感分析和问答系统等领域，通过预训练和微调实现高精度任务执行。 ---
AI项目与工具 2025年06月12日
Aria

Aria

Aria是首个开源多模态原生混合专家（MoE）模型，支持文本、代码、图像和视频的综合处理，具有强大的多模态任务处理能力和长上下文窗口，可高效应对复杂长数据。模型开源且可扩展，适用于多模态AI领域的研究与应用。
AI项目与工具 2025年06月12日
MoE++

MoE++

MoE++是一种基于混合专家架构的新型深度学习框架，通过引入零计算量专家、复制专家和常数专家，有效降低计算成本并提升模型性能。它支持Token动态选择FFN专家，并利用门控残差机制实现稳定路由，同时优化计算资源分配。该框架易于部署，适用于多种应用场景，包括自然语言处理、智能客服及学术研究。
AI项目与工具 2025年06月12日
Time

Time

Time-MoE是一种基于混合专家架构的时间序列预测模型，通过稀疏激活机制提高计算效率并降低成本。该模型支持任意长度的输入和输出，能够在多个领域实现高精度的时序预测。经过大规模数据集Time-300B的预训练，Time-MoE展现出卓越的泛化能力和多任务适应性，广泛应用于能源管理、金融预测、电商销量分析、气象预报以及交通规划等领域。
AI项目与工具 2025年06月12日
DeepSeek V3

DeepSeek V3

DeepSeek V3是一款由幻方量化旗下的深度求索公司开源的AI模型，拥有6850亿参数，采用混合专家架构。它在多语言编程、长文本处理和对话交互方面表现出色，能够生成高质量代码、优化现有代码、协助调试、生成文本、分析文本、润色文本，并支持自然对话和多轮对话。此外，它在多个基准测试中表现出色，包括编程、数学、推理等领域。
AI项目与工具 2025年06月12日
YAYI

YAYI

YAYI-Ultra是中科闻歌研发的企业级大语言模型，具备多领域专业能力与多模态内容生成能力，支持数学、代码、金融、中医等领域。模型支持超长文本处理、数据分析、任务规划及联网创作，适用于媒体、医疗、财税等行业。采用混合专家架构，结合指令微调技术，在多项评测中表现优异，提供高效、精准的智能化服务。
AI项目与工具 2025年06月12日
MeteoRA

MeteoRA

MeteoRA是一种基于LoRA和混合专家架构的多任务嵌入框架，用于大型语言模型。它支持多任务适配器集成、自主任务切换、高效推理及复合任务处理，提升模型灵活性和实用性。通过动态门控机制和前向加速策略，显著提高推理效率并降低内存占用，适用于多领域问答、多语言对话等场景。
AI项目与工具 2025年06月12日
DeepEP

DeepEP

DeepEP 是 DeepSeek 开发的开源 EP 通信库，专为混合专家模型（MoE）的训练和推理设计。它提供高吞吐、低延迟的 GPU 内核，支持 NVLink 和 RDMA 通信，优化了组限制门控算法，兼容 FP8 等低精度数据格式。适用于大规模模型训练、推理解码及高性能计算场景，具有良好的系统兼容性和网络优化能力。
AI项目与工具 2025年06月12日
DeepGEMM

DeepGEMM

DeepGEMM是DeepSeek开发的高效FP8矩阵乘法库，专为NVIDIA Hopper架构优化，支持普通与分组GEMM操作。采用即时编译技术，实现运行时动态优化，提升计算性能与精度。通过细粒度缩放和双级累加技术解决FP8精度问题，结合TMA特性提升数据传输效率。代码简洁，仅约300行，适用于大规模AI推理、MoE模型优化及高性能计算场景。
AI项目与工具 2025年06月12日